Cha là Ngu Lệ, từng nhận chức Thái tử Trung thứ tử nước Trần. Ngu Thế Cơ thuở nhỏ trầm tĩnh, vui hờn không lộ ra, bác học tài cao, lại giỏi thư pháp thảo lệ. Sau khi nước Trần diệt cống hiến cho Đại Tùy, đảm nhiệm nhân viên cấp thấp trong Nội sử tỉnh, nhà nghèo không sản nghiệp, sau thăng nhiệm nội sử xá nhân. Dương đế lên ngôi, được Lễ Thư giám Liễu Cố Ngôn tiến cử, thăng nhiệm Nội sử thị lang, được Dương đế trọng dụng, chuyên lo việc cơ mật, cùng Nạp ngôn Tô Uy, Tả Dực Vệ đại tướng quân Vũ Văn Thuật, hoàng môn thị lang Bùi Củ, ngự sử đại phu Bùi Uẩn cùng chưởng quản triều chính, mọi người gọi là "ngũ quý".